TPPO：用于语言模型推理的追踪价值 PPO
🧭 RLVR 中 PPO 价值函数参数化改进 ★ 深度解读
Zhejiang University · Westlake University · Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Nanjing University
将 PPO critic 改为逐 token logit 增量累加，在稀疏二元奖励下显著提升推理训练的 token 级信用分配与策略性能
📌 工作参考价值（4 点）
- 若在 LLM 驱动的对话式推荐/搜索 Agent 中用 PPO 做 RL 训练，且奖励是终端转化/点击式的稀疏二元信号，可将 critic 从独立预测 prefix value 改为累积 logit 参数化：每 token 输出一个 scalar，累加后 sigmoid 得到 prefix value，损失用 BCE；实现成本低，不需要 process reward。
- 该方法直接改善 GAE 中相邻 token 的优势排序，减少噪声信用分配；对于需要区分多步推理中关键步骤（如商品筛选、需求澄清）的场景，能提升策略学习的稳定性，尤其适合长轨迹 CoT。
- 注意其假设是 γ=1、binary terminal reward；若业务奖励是 dense 或连续值（如 GMV、转化概率加权），需先做二值化或改造 logit 分解，否则收益可能不成立。
- 在评估 critic 质量时，可借鉴 SNR-conditioned sign accuracy 与 MC anchor 估计，用少量采样诊断训练中 critic 是否在跟踪值演化，避免训练后期价值函数退化。
动态 Harness 搜索：按查询预测构建多智能体系统
🧭 成本敏感的按 query 多智能体编排搜索 ★ 深度解读
Google · Arizona State University
SHIFT 用本地小模型预测 harness 效用并以 MCTS 按查询构造多 Agent 系统，无需在线执行候选，精度与成本双优
📌 工作参考价值（4 点）
- 把 agent harness 定义为可执行图（roles/directives/tools/edges），在请求级用本地小模型（如 Gemma-2B + LoRA）做 MCTS 选择，而不是固定 pipeline；电商场景可按 query 决定是否需要「检索→规划→校验」多人链路，还是仅一个 reader/单步商品查询，降低高耗时多 Agent 编排的无效消耗。
- 成本敏感的价值函数值得直接复用：reward=成功项 - 归一化 token/latency/tool/agent 惩罚，用 binary cross-entropy + pairwise ranking loss 训练 value head；线上可选择 value 最高的 harness 而非最强 harness，类似路由/降级策略，在牺牲极小精度下大幅省 token。
- 搜索只在本地模型内完成，候选执行不进入在线路径；MCTS 用虚拟损失实现批量并行，H100 上构造 harness <1s，在线成本接近固定编排。适合已有 workflow/Agent 编排平台做逐 query 编排，或作为 offline 训练 policy、online value 决策的两段式部署。
- 动作空间从最小 harness（single Coder 无 tools）开始，40 个 action 共享跨 domain 的结构/指令，工具权限随 domain 变化；这种冷启动方式可迁移到新的商品类目/垂直搜索，通过少量执行数据训练 architect，再迁移到更难任务。
RLHF的另一面：在线反馈驱动奖励模型自监督改进
🧭 LLM 对齐中的奖励模型自监督训练
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China · University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · State Key Laboratory of General Artificial Intelligence, BIGAI
提出SAVE框架，利用在线反馈和价值锚定对奖励模型进行自监督改进，缓解策略分布偏移
📌 工作参考价值（4 点）
- 在推荐 RL 策略优化中，利用实时生成的 on-policy 数据与价值函数估计的期望回报计算优势值，作为自监督信号更新奖励模型，无需额外标注，同时缓解静态 RM 与策略不匹配问题。
- 借鉴 prompt-specific value head 设计，为每个用户或上下文动态构建价值头，自适应确定反馈阈值，过滤低质量样本，提升训练信号信噪比。
- 采用对比目标区分正负样本时，可直接利用策略采样结果的排序（如按 RM 打分划分）构造正负对，减少对绝对偏好标注的依赖。
- 方法轻量易集成，计算优势 → 过滤 → 对比更新，可嵌入现有推荐系统 RL 框架，适用于生成式推荐、对话式推荐等策略频繁漂移的场景。